Die Herausforderung
Die Analytics-Plattform lief auf Amazon Redshift, mit einem selbst entwickelten Orchestrator und Jinja-basiertem SQL, das Tableau versorgte. Das Team brauchte drei Dinge, die Redshift damals nicht bot: Zero-Copy-Clones für getrennte Dev- und Prod-Umgebungen, virtuelle Warehouses zur Trennung der Rechenleistung und Time Travel für historische Datensätze. Die Geschäftslogik neu zu schreiben war zu riskant, daher mussten die Dashboards durchgehend weiter funktionieren.
Vorgehen
Wir haben Pipelines, Abhängigkeiten, Datenvolumen, Verantwortliche und geschäftskritische Ergebnisse inventarisiert. Die Workloads wurden nach Migrationsrisiko und Modernisierungsnutzen gruppiert.
Zielmodelle, Tests und Abgleichsprüfungen zeigten, ob das neue System die bewährten Geschäftsergebnisse reproduziert, nicht nur, ob Jobs durchliefen.
Das Jinja-basierte SQL wurde weitgehend unverändert in dbt-Modelle übernommen, und Dagster ersetzte den eigenen Orchestrator. Weil die Geschäftslogik unverändert blieb, blieb auch das Risiko gering.
Zero-Copy-Clones gaben dem Team vollständige Dev- und Prod-Umgebungen ohne Datenkopien, virtuelle Warehouses trennten die Workloads, und Time Travel machte historische Datensätze bei Bedarf verfügbar.
Runbooks, Coding-Standards, Review-Prozesse und Architekturentscheidungen wurden dokumentiert, damit das interne Team die Plattform betreiben und erweitern konnte.
So hat es funktioniert
Ergebnisse
Amazon Redshift
Snowflake
Dagster
dbt
Jinja
Tableau- SQL
Python- CI/CD
Was das zeigt
Wer bestehende Logik auf die richtige Plattform bringt, gewinnt schnell neue Möglichkeiten, ohne die Geschäftsregeln neu zu schreiben.